Các phán quyết của Tòa án Công lý Quốc tế chỉ mang ý nghĩa chính trị hơn là có hiệu lực thi hành, và mọi việc đều tùy thuộc vào thiện chí của các nước. Theo lý thuyết, nếu một bên từ chối thi hành phán quyết của tòa, vấn đề có thể được chuyển lên cho Hội đồng Bảo an LHQ xử lý, nhưng việc này thường lâm vào bế tắc vì năm thành viên thường trực thường xuyên sử dụng quyền phủ quyết. Trong năm 2004 tòa đưa ra một phán quyết đầy tranh cãi bằng việc lên án hàng rào an ninh của Israel, kết tội hành động của Israel là vi phạm luật pháp quốc tế và phải dỡ bỏ hàng rào này ngay lập tức, cũng như bồi hoàn chi phí thiệt hại cho người Palestine. Israel phản đối quyết liệt quyết định trên và lờ đi, vẫn tiếp tục xây dựng và củng cố hàng rào an ninh. Và Israel không phải là nước đầu tiên phớt lờ quyết định của tòa, Argentina vào năm 1977 và Hoa Kỳ vào năm 1984 cũng có các quyết định tương tự. Đến năm 2016 Tòa án đưa ra phán quyết về tranh chấp Biển đông giữa Trung quốc và Philippines, phán quyết nêu rõ những sai trái của Trung quốc ở Biển đông. Tuy nhiên Trung quốc cũng lờ đi các phán quyết của Tòa.